На днях компания VMware обновила свое решение vRealize Suite Lifecycle Manager до версии 8.8, входящее в пакет решений vRealize Suite. Напомним, что оно предназначено для развертывания установочных образов, отслеживания соответствия (compliance) и приведения кластера к нужному уровню обновлений. Он пришел на смену решению VMware Update Manager (VUM), расширив его возможности. О версии 8.6 vRLCM мы писали вот тут.

Давайте посмотрим, что нового в vRLCM 8.8:

1. Управление жизненным циклом vRealize Orchestrator

Теперь Lifecycle Manager поддерживает решение по автоматизации операций vRealize Orchestrator, которое есть в составе пакета vRealize Automation (базовая версия), так и существует в виде отдельного продукта (полнофункциональная версия для производственной среды).

Теперь можно добавить существующий сервер vRealize Orchestrator, развернуть новый в составе vRealize Automation, либо создать отдельный инстанс vRO в рамках установки инфраструктуры vRA:

Помните, что vRealize Orchestrator нельзя установить без наличия в инфраструктуре сервисов vRealize Automation. Импорт существующего инстанса выглядит очень просто:

Для новой инсталляции vRO потребуется чуть больше шагов, но большинство параметров уже будут предзаполнены мастером установки:

После импорта иконка vRealize Orchestrator будет отображаться на карточке виртуального окружения:

Так как vRO ассоциирован с установленным vRA, то действия Day 2 для vRO появятся как подвкладка для продукта vRealize Automation:

Действия Day 2 для управления жизненным циклом доступны из меню в правом верхнем углу:

2. Улучшения для vRealize Automation

Раньше при снятии снапшота инфраструктуры vRealize Automation перед апгрейдом кластера требовалось около 10 минут на правильное выключение всех систем. Теперь это время было уменьшено в рамках улучшений рабочих процессов при создании онлайн-снапшота и откате к нему. Перед апгрейдом vRLCM проверяет нормальное функционирование vRealize Automation.

Второе улучшение в vRealize Automation Cloud - это поддержка развертывания Cloud Extensibility Proxy. Раньше карточка для прокси была, но доступна она была только для стандартных прокси. Теперь при создании нового прокси он будет развернут как extensibility service. На картинке ниже показано отличие от предыдущей версии:

3. Кластеры VMware Identity Manager

При развертывании или масштабировании трехузлового кластера VMware Identity Manager теперь можно развертывать новые узлы в разных датацентрах и кластерах. Это позволяет обеспечить высокую доступность на уровне разных кластеров и площадок.

В прошлых релизах расширенные настройки не позволяли менять инфраструктурные опции. Теперь же можно менять все поля настроек для каждого узла:

Обратите внимание, что все узлы должны использовать одну сеть в рамках серверов vCenter Server.

4. Улучшенные нотификации

Теперь появились нотификации для состояния лицензий и их устаревания:

Это позволяет заранее позаботиться о лицензиях и сертификатах, которые актуальны в вашем окружении и выполнить соответствующее действие в службе Lifecycle Operations перед тем, как ваши лицензии/сертификаты устареют.

Еще одно улучшение - это дополнительный шаг валидации при добавлении webhook URL для Slack и Teams, чтобы сразу убедиться в том, что параметры указаны верно (отсылается тестовое сообщение).

5. Улучшения VMware Cloud Foundation

В этом релизе появилась автоматическая установка менеджмент паков VMware Identity Manager и SDDC Health как части развертывания vRealize Operations. Это нужные паки для мониторинга окружения VMware Cloud Foundation, которые раньше устанавливались вручную.

Начиная с VMware Cloud Foundation 4.4 и vRealize Suite Lifecycle Manager 8.6.2, развертывание продуктов семейства vRealize контролируется vRLCM. Это позволяет пользователям делать апгрейд продуктов, как только выходят их новые версии, без необходимости ждать, пока обновится список поддерживаемых систем VMware Cloud Foundation BOM.

Теперь пользователи могут проводить апгрейды продуктов vRealize в режиме поддержки VMware Cloud Foundation, что сокращает время самого апгрейда. Это поддерживается для продуктов vRealize, начиная с версии 8.1.

Также в этом режиме будет верифицирована совместимость компонентов vCenter Server, ESXi и NSX при любых типах апгрейдов. Это позволит убедиться в том, что вы всегда получаете поддерживаемую конфигурацию.

Еще одно улучшение тут - это обработка изменений пароля vCenter. Теперь SDDC Manager может регулярно менять пароли vCenter Server, которые автоматически обновляются в хранилище Realize Suite Lifecycle Manager.

6. Улучшения Content Management

В этом релизе исправлена ошибка, когда контент не удалялся из источника (например, GitHub) при обновлении.

Подробнее о VMware vRealize Suite Lifecycle Manager 8.8 можно узнать по этой ссылке. Release Notes на русском языке доступны тут.

В конце апреля компании VMware и Oracle выпустили обновление публичной облачной платформы Oracle Cloud VMware Solution (OCVS). Новый весенний релиз включает в себя много интересных возможностей, главной из которых стала более тесная интеграция нативных служб Oracle Cloud Infrastructure (OCI) и средств управления виртуальной облачной инфраструктурой от VMware.

Давайте посмотрим, что нового появилось в OCVS Spring 2022:

1. Новый тип хоста OCVS ESXi на базе AMD EPYC E4 Dense

Он предназначен для тяжелых нагрузок, требовательных к памяти и интенсивности использования хранилищ. Теперь есть 3 варианта хостов E4 Dense ESXi с числом ядер 32, 64 или 128, с тактовой частотой 2.55 ГГц в базовом варианте и до 3.5 ГГц в режиме максимального ускорения.

Все конфигурации идут с 2 ТБ RAM на борту, сетью 100 Gbps и 54.4 ТБ хранилища на базе NVMe.

2. Защищенные инстансы VMware

Теперь есть так называемые "Shielded VMware Instances", которые надежно защищены от атак типа Ransomware. Эти инстансы используют комбинацию технологий Secure Boot и Trusted Platform Module (TPM) для того, чтобы убедиться, что ОС и установленные в ней приложения загружаются из валидированной конфигурации.

Эта технология интегрирована со службой OCVS Provisioning Service и может быть включена для всех серверов кластера. Система не загружает драйверы UEFI или приложения, пока загрузчик ОС не подписан криптографической подписью, а устанавливать можно только подписанные пакеты vSphere Installation Bundles (VIB). Аппаратные чипы TPM 2.0 проверяют целостность платформы, сам процесс валидации вы можете отслеживать через vSphere Client.

3. Интеграция хостов OCVS ESXi со службами OCI File Storage Services

На базе всего трех узлов OCVS можно построить высокопроизводительный кластер хранилищ объемом 120 ТБ средствами служб VMware vSAN. VMware и Oracle валидировали их работу на базе файловой системы Network File System version 3.0 (NFSv3).

Для облачных инстансов доступны службы мониторинга и нотификаций OCI с использованием электронной почты, сервисов PagerDuty и Slack. Служба OCI Infrastructure Health Monitoring теперь полностью настроена и работает для bare-metal хостов. С помощью службы OCI Observability Service администраторы могут настроить алармы и нотификации на базе инфраструктурных метрик. Эти возможности могут работать совместно с традиционно используемыми средствами мониторинга и оповещений.

4. Валидация решений VMware Site Recovery Manager и VMware vRealize Cloud Management с OCVS

Теперь решение VMware SRM полностью валидировано в облаке OCVS, об этом подробнее можно почитать в Oracle Site Recovery Manager on OCVS Playbook. Лицензия на Site Recovery Manager for OCVS включена в издание "Site Recover Manager for Hyperscalers".

Также vRealize Cloud Management полностью валидировано с OCVS в 37 регионах OCI Cloud Regions. Теперь следующие продукты вы можете использовать в облаке OCVS:

• vRealize Operations Cloud
• vRealize Automation Cloud
• vRealize Log Insight Cloud
• vRealize Network Insight Cloud

5. Валидация VMware Horizon в облаке OCVS

Ранее от пользователей был большой интерес к размещению инфраструктуры виртуальных ПК (VDI) в облаке OCVS, теперь это решение полностью валидировано, о чем написано в KB 88202.

6. Валидация VMware Tanzu Standard edition в облаке OCVS

Решение VMware Tanzu Standard на базе кластеров Kubernetes теперь можно полноценно использовать в публичном облаке OCVS.

Более подробно о платформе Oracle Cloud VMware Solution можно узнать по этой ссылке.

На днях компания VMware выпустила небольшой апдейт своей флагманской платформы виртуализации VMware vSphere 7.0 Update 3d, включая гипервизор VMware ESXi 7.0 Update 3d и сервер управления VMware vCenter 7.0 Update 3d. Напомним, что прошлое обновление vSphere 7.0 Update 3c, которое исправляло большие проблемы прошлого релиза, компания VMware выпустила в январе этого года.

В ESXi 7 Update 3d появилась поддержка технологии vSphere Quick Boot для следующих платформ:

• Dell Inc. C6420 vSAN Ready Node
• Dell Inc. MX740C vSAN Ready Node
• Dell Inc. MX750C vSAN Ready Node
• Dell Inc. PowerEdge R750xa
• Dell Inc. PowerEdge R750xs
• Dell Inc. PowerEdge T550
• Dell Inc. R650 vSAN Ready Node
• Dell Inc. R6515 vSAN Ready Node
• Dell Inc. R740 vSAN Ready Node
• Dell Inc. R750 vSAN Ready Node
• Dell Inc. R7515 vSAN Ready Node
• Dell Inc. R840 vSAN Ready Node
• Dell Inc. VxRail E660
• Dell Inc. VxRail E660F
• Dell Inc. VxRail E660N
• Dell Inc. VxRail E665
• Dell Inc. VxRail E665F
• Dell Inc. VxRail E665N
• Dell Inc. VxRail G560
• Dell Inc. VxRail G560F
• Dell Inc. VxRail P580N
• Dell Inc. VxRail P670F
• Dell Inc. VxRail P670N
• Dell Inc. VxRail P675F
• Dell Inc. VxRail P675N
• Dell Inc. VxRail S670
• Dell Inc. VxRail V670F

В VMware vCenter 7.0 Update 3d появились следующие улучшения:

• Исправление проблемы безопасности CVE-2022-22948. Более подробно об этом рассказано тут.
• Множество исправлений ошибок, полный список которых приведен тут. Решены проблемы с развертыванием ВМ из OVF-шаблонов, исправлены ошибки с накатыванием инкрементальных патчей vCenter, а также проблема с сообщением о невозможности подключения к серверу Single Sign-On.
• Обновлены компоненты VMware vSphere with Tanzu, подробнее об этом рассказано тут.
• Обновлены компоненты Photon OS, подробнее об этом рассказано тут.

Скачать компоненты VMware vSphere 7.0 Update 3d можно по этой ссылке. Release Notes доступны тут:

• VMware ESXi 7.0 Update 3d
• vCenter Server 7.0 Update 3d

За последние пару месяцев на сайте проекта VMware Labs вышло несколько обновлений утилиты vSphere Diagnostic Tool. Напомним, что это средство представляет собой python-скрипт, который запускает диагностические команды на виртуальном модуле Photon OS (на его базе построен, например, vCenter Server Appliance), а также в перспективе это будет работать и в среде VMware ESXi. О первой версии vSphere Diagnostic Tool мы писали вот тут.

Основное назначение данной утилиты - дать администраторам быстрое средство траблшутинга, которое они могут использовать для первичной идентификации наиболее распространенных проблем. Если все проверки пройдут успешно, то дальше уже можно более глубоко изучать логи и проводить дополнительные тесты.

Давайте посмотрим, что нового появилось в vSphere Diagnostic Tool (сейчас актуальная версия 1.1.4) с момента ее последнего релиза:

• Исправлены проблемы со спецсимволами в паролях
• Тесты имеют таймаут 10 секунд, а ключ -f используется для пропуска таймаутов
• Название проверки выводится еще до ее запуска
• Проверка VC Disk Space Check теперь игнорирует раздел proc
• Проверка VC Info Check теперь имеет приятный вывод и возможность вывода во внешний канал PSC
• Улучшены проверки VC Core Check
• Исправлено множество ошибок, связанных с обработкой паролей и сертификатов

Скорее всего, данное средство включат в будущем в состав инфраструктурных продуктов линейки VMware vSphere для проверки виртуальных модулей на базе Photon OS (а это уже почти все продукты, построенные на базе хостовой ОС Linux, вроде vCSA).

Скачать утилиту vSphere Diagnostic Tool можно по этой ссылке.

На сайте проекта Labs стала доступна новая версия гипервизора VMware под аппаратную архитектуру ARM - VMware ESXi Arm Edition 1.9. В будущем этот гипервизор найдет свое применение в таких платформах, как Project Monterey. О прошлой версии ESXi для ARM мы писали в декабре прошлого года.

• Экспериментальная поддержка платформ Marvell Octeon TX2 CN92xx/CN93xx/CN95xx/CN96xx/CN98xx
• Улучшенная поддержка оборудования PL011 UART
• Поддержка VMM для ID_AA64ISAR2_EL, а также исправления ошибок для новых ядер Linux (>= 5.17-rc2)
• Поддержка PCIe Enhanced Allocation
• Улучшения логирования для шины PCIe
• Улучшения в механизме виртуализации MSI
• Исправления ошибок

Скачать VMware ESXi ARM Edition 1.9 можно по этой ссылке. Напомним, что апгрейд с прошлых версий этого гипервизора не поддерживается, каждую новую версию нужно устанавливать заново (но доступна опция "Preserve VMFS" для сохранения ВМ на томах).

Многие компании сталкиваются сегодня с необходимостью переезжать на другую платформу виртуализации из-за сложностей, связанных с поддержкой зарубежных решений, а также ростом курсов валют. Сегодня мы расскажем об одной из альтернатив, которую предлагает российскому бизнесу компания HOSTVM, и рассмотрим алгоритм миграции на платформу. Сама по себе платформа HOSTVM представляет собой российскую версию гипервизора, построенного на базе открытого исходного кода KVM...

Многим из вас знакома компания StarWind Software, выпускающая одни из лучших в отрасли продукты для организации отказоустройчивых хранилищ под платформы виртуализации. Компания производит как программные продукты (StarWind Virtual SAN для vSphere и Hyper-V), так и программно-аппаратные комплексы, представленные линейкой StarWind HyperConverged Appliance (HCA) и StarWind Storage Appliance. Сегодня мы поговорим именно о программно-аппаратных решениях StarWind Appliances...

На сайте проекта VMware Labs обновился продукт Community Networking Driver for ESXi до версии 1.2.7. Напомним, что этот пакет представляет собой комплект нативных драйверов под ESXi для сетевых адаптеров, подключаемых в разъем PCIe. О прошлой версии этих драйверов мы писали осенью прошлого года вот тут.

Давайте посмотрим, что нового появилось в версии 1.2.7 сетевых драйверов:

• Поддержка устройств Intel I225 с любым идентификатором PHY ID
• Поддержка новых устройств Intel I226-K (также для любых PHY ID)
• Исправлен возможный дэдлок в изменяющемся MTU
• Исправлено возможное зависание RX при операциях device layer ops
• Исправлена возможная ошибка PHY reset failure

Драйверы работают для VMware ESXi 7.0 или более поздних версий, а список поддерживаемых устройств сейчас выглядит так:

Установка драйверов производится следующей командой (после этого нужно перезагрузить хост):

esxcli software vib install -d /path/to/the offline bundle zip

Скачать пакет драйверов VMware Community Networking Driver for ESXi 1.2.7 можно по этой ссылке.

На днях компания VMware обновила главный документ о производительности своей флагманской платформы виртуализации - Performance Best Practices for VMware vSphere 7.0, Update 3. Напомним, что с пакетом обновлений Update 3 долгое время были проблемы (в том числе с производительностью), но сейчас доступна стабильная версия этого обновления. Осенью прошлого года мы также писали об этом документе для версии Update 2.

Традиционно документ разбит на 4 больших блока, касающихся оборудования, самой платформы vSphere и серверов ESXi, виртуальных машин, их гостевых систем и средств управления виртуальной инфраструктурой:

• Hardware for Use with VMware vSphere
• ESXi and Virtual Machines
• Guest Operating Systems
• Virtual Infrastructure Management

Подразделы этих глав содержат очень много конкретных пунктов про различные аспекты оптимизации виртуальных датацентров и объектов, работающих в их рамках.

Документ очень полезный, состоит из почти ста страниц и дает просто огромное количество полезной информации для администраторов, одной из главных задач которых является поддержание требуемого уровня производительности виртуальной среды.

Скачать Performance Best Practices for VMware vSphere 7.0, Update 3 можно по этой ссылке.

Компания Principled Technologies выпустила интересное сравнение производительности в контексте плотности размещения виртуальных машин на сервере (VM Density), которое показывает превосходство гипервизора VMware vSphere 7 Update 2 над открытой архитектурой Red Hat OpenShift версии 4.9.

Для тестирования использовались виртуальные машины с полезной нагрузкой SQL Server. С точки зрения оборудования использовался кластер из 5 одинаковых серверов HPE ProLiant DL380 Gen 10, где были размещены ВМ, также для OpenShift дополнительно использовались еще 3 хоста как управляющие узлы.

Первый результат теста - это максимальное число активных виртуальных машин на один узел, которые можно было разместить при обеспечении определенного уровня производительности SQL Server. Тут результат 14-30 в пользу платформы VMware vSphere 7 Update 2:

Также создавали простаивающие виртуальные машины и смотрели, какое их максимальное количество можно разместить на одном хосте, тут тоже vSphere далеко впереди:

В исследовании отдельно подчеркивается, что VMware vSphere имеет также следующие преимущества:

• Механизм обеспечения высокой доступности VMware HA работает более эффективно и проще настраивается
• Рутинные задачи (Day-2) на платформе VMware vSphere выполнять удобнее и быстрее
• Для хостов ESXi можно делать апгрейд хостов без их перезагрузки

Ну и сообщается, что решение vSphere with Tanzu позволяет исполнять нагрузки в контейнерах Kubernetes, которые дополняют серверную инфраструктуру. Больше подробностей вы можете узнать из исследования "VMware vSphere 7 Update 2 offered greater VM density and increased availability compared to OpenShift Virtualization on Red Hat OpenShift 4.9".

Недавно мы писали о выходе новой версии пакета продуктов VMware Cloud Foundation 4.4, предназначенного для создания виртуального датацентра организации. Напомним, что он включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.

Напомним, что одной из новых возможностей VCF 4.4 стало то, что теперь сервис SSH отключен на всех хостах ESXi по умолчанию - это новая конфигурация, которая применяется в соответствии с рекомендациями по безопасности.

Если по какой-то причине на одном или нескольких хостах в рамках доменов рабочей нагрузки (workload domains) вам нужно использовать SSH, то вот как можно это сделать.

Чтобы включить SSH на всех доменах и хостах ESXi вашей инфраструктуры, нужно выполнить следующую консольную команду SDDC Manager как root:

/opt/vmware/sddc-support/sos --enable-ssh-esxi --domain-name ALL

Если нужно включить SSH на одном из доменов, то делается это так:

/opt/vmware/sddc-support/sos --enable-ssh-esxi --domain-name domain1

Если же вам необходимо включить SSH на отдельном хосте ESXi, то нужно выполнить следующие действия:

• Заходим через веб-браузер на ESXi в его VMware Host Client
• Нажимаем Manage в панели навигации и переходим на вкладку Services
• Выбираем службу TSM-SSH и нажимаем Start

Компания VMware недавно сделала доступным для загрузки обновление пакета продуктов VMware Cloud Foundation (VCF) версии 4.4, предназначенного для создания онпремизного виртуального датацентра. Напомним, что он включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия под управлением SDDC Manager.

Давайте посмотрим, что нового в VCF 4.4: 

• Гибкие апгрейды vRealize Suite - теперь апгрейд продуктов, входящих в состав vRealize Suite, полностью управляется со стороны vRealize Suite Lifecycle Manager. Как только новая версия какого-то продукта становится доступна - ее можно обновить с помощью Lifecycle Manager, при этом происходит проверка совместимости версий продуктов в составе vRealize Suite. Поэтому теперь в составе Bill of Materials (BOM) не приводятся отдельные версии решений vRealize Automation, vRealize Operations, vRealize Log Insight и Workspace ONE Access, которые будут обновляться через Lifecycle Manager.
• Улучшения в пречеках апгрейда - теперь проверяется емкость файловой системы, разрешения для файлов и пароли. Это обеспечивает более плавный процесс апгрейда.
• Сервис SSH отключен на хостах ESXi по умолчанию - это новая конфигурация, которая применяется в соответствии с рекомендациями по безопасности.
• Возможность логировать пользовательскую активность - теперь все эти логи сохраняют вызовы VMware Cloud Foundation API вместе с контекстом пользователя. Также логируются логины и логауты в консоль SDDC Manager.
• Поддержка 2-узловых кластеров vSphere при использовании NFS, VMFS on FC или vVols в качестве основного хранилища кластера (эта возможность не применяется при использовании vSAN, а также при использовании бейзлайнов Lifecycle Manager для обновлений).
• Обновления безопасности:
  • Заплатки уязвимости Apache Log4j Remote Code Execution (исправления для уязвимостей CVE-2021-44228 и CVE-2021-45046, подробнее описано в VMSA-2021-0028).
  • Исправления безопасности для Apache HTTP Server (а именно CVE-2021-40438, подробнее описано в VMSA-2021-0020).
• Улучшения эффективности SDDC Manager в плане использования процессора и памяти. Также теперь инвентарь в консоли работает лучше и объекты (хосты ESXi, workload domains и другие) открываются быстрее.
• Multi-Instance Management Dashboard недоступна больше в интерфейсе SDDC Manager.
• BOM updates - в состав пакета были добавлены обновленные версии соответствующих продуктов (см. ниже).

Собственно, вот какие продукты VMware и их версии теперь входят в состав VMware Cloud Foundation 4.4:

Также пользователи прошлой ветки VMware Cloud Foundation 3.х получили обновление 3.11, вот что там нового:

• Заплатки уязвимости Apache Log4j Remote Code Execution (исправления для уязвимостей CVE-2021-44228 и CVE-2021-45046, подробнее описано в VMSA-2021-0028).
• Исправления безопасности для Apache HTTP Server (а именно CVE-2021-40438, подробнее описано в VMSA-2021-0020).
• Улучшения в пречеках апгрейда - теперь проверяется емкость файловой системы, разрешения для файлов и пароли.
• Утилита апгрейда skip-level upgrade CLI tool, позволяющая обновиться на VCF 3.11 напрямую, теперь получила несколько улучшений в плане предпроверок, проверок безопасности и юзабилити.
• Новые максимумы - теперь VCF 3.11 поддерживает до 1000 хостов ESXi на один SDDC Manager.
• Обновления Bill of Materials - теперь в состав пакета входят продукты ESXi 6.7 EP23, vCenter Server 6.7 U3q, NSX-v 6.4.12 и NSX-T 3.0.3.1, vRealize Suite Lifecycle Manager 2.1 Patch3 и VMware Horizon 7.10.3.

Подробнее о VMware Cloud Foundation можно узнать вот тут.

Не так давно компания VMware обновила параметры Configuration Maximums, которые содержат максимальные параметры конфигураций инфраструктуры виртуализации и доставки настольных ПК VMware Horizon 7 (напомним, что актуальная на сейчас версия 2111 стала доступна в декабре прошлого года).

Давайте посмотрим на актуальные пределы конфигураций Horizon 7, которые VMware приводит в KB 2150348 с учетом имеющихся на сегодня рекомендаций:

Лимиты архитектуры Cloud Pod Architecture

Лимиты RDSH-сессий

Лимиты ESXi и хранилищ виртуальных машин

Параметры серверов Connection Servers

Почти два года назад мы писали об особенностях управления сертификатами в обновленной инфраструктуре vSphere 7. Сегодня мы расскажем об управлении сертификатами VMware vSphere с помощью PowerCLI на основе материалов вот этой статьи в блоге VMware.

Все необходимые функции для работы с API по управлению сертификатами были добавлены в PowerCLI версии 12.4 в конце прошлого года, и теперь можно полноценно управлять ими с помощью сценариев.

Вот какие командлеты используются в VMware vSphere 7 (некоторые из них доступны и в более ранних версиях платформы) для получения информации о сертификатах, их добавления и удаления:

• Add-VITrustedCertificate
• Get-VIMachineCertificate
• Get-VITrustedCertificate
• New-VIMachineCertificateSigningRequest
• Remove-VITrustedCertificate
• Set-VIMachineCertificate

Итак, давайте посмотрим, как они работают:

1. Управление доверенным хранилищем сертификатов

Для работы с Trusted Certificate Store можно использовать командлет Get-VITrustedCertificate, который проверяет корневые сертификаты на сервере vCenter Server и/или на присоединенных хостах ESXi (параметры issuer, expiration date, serial number и другие). Вот пример, как проверить хранилища сертификатов на серверах на предмет устаревших сертификатов:

#Check the trusted certificate store of the vCenter and all connected ESXi servers for expired certificates

Get-VITrustedCertificate | Where-Object { $_.NotValidAfter -lt (Get-Date) }

Если мы хотим добавить сертификат или цепочку сертификатов в центр сертификации (certificate authority), который мы используем для хранилища сертификатов, можно использовать командлет Add-VITrustedCertificate:

#Read the certificate or certificate chain from a .pem file

$trustedCertChain = Get-Content "C:\Users\jdoe\Downloads\ca-chain.cert.pem" -Raw



#Add it to the trusted certificate stores of the vCenter and the ESXi servers

Add-VITrustedCertificate -PemCertificateOrChain $trustedCertChain

Также есть командлет Remove-VITrustedCertificate для удаления доверенных сертификатов, которые нам больше не нужны (используйте ее очень осторожно, ведь можно случайно удалить используемый сертификат). В интерфейсе этой функции нет, чтобы администратор случайно не удалил нужные сертификаты из цепочек. Вот как это работает:

Get-VITrustedCertificate -VCenterOnly | `

Where-Object { $_.NotValidAfter -lt (Get-Date) } | `

Remove-VITrustedCertificate

2. Управление SSL-сертификатами компьютеров на сервере vCenter Server

Если у нас есть несколько компьютеров, с которых администраторы получают доступ к vSphere Client, и мы хотим, чтобы сертификаты принимались по умолчанию, мы должны заменить сертификаты на сгенерированные доверенным центром сертификации (trusted certificate authority).

Сначала с помощью этого командлета проверяем текущий сертификат машины vCenter:

Get-VIMachineCertificate -VCenterOnly

После этого создаем запрос на подписку сертификата (certificate signing request, CSR) для vCenter Server. Можно использовать командлет VIMachineCertificateSigningRequest:

$csrParams = @{

Country="US"

Email="jdoe@vmware.com"

Locality="San Francisco"

Organization="My Company"

OrganizationUnit="PowerCLI"

StateOrProvince="California"

}

$csr = New-VIMachineCertificateSigningRequest @csrParams


$csr.CertificateRequestPEM | Out-File "C:\Users\jdoe\Downloads\vc.csr.pem" -Force

После того, как мы получим файл сертификата от центра сертификации, мы можем заменить сертификат машины vCenter с помощью командлета Set-VIMachineCertificate:

$vcCert = Get-Content "C:\Users\jdoe\Downloads\vc.cert.jdoe.pem" -Raw

Set-VIMachineCertificate -PemCertificate $vcCert

Перед установкой SSL-сертификата машины мы должны убедиться, что корневой сертификат нашего CA добавлен в хранилище сертификатов vCenter Server. Помните, что замена сертификата вызовет перезагрузку vCenter.

3. Управление SSL-сертификатами машин для серверов ESXi

Если мы хотим управлять сертификатами полностью самостоятельно, нужно также заменить и сертификаты хостов ESXi. Рабочий процесс в этом случае выглядит несколько сложнее. Сначала нужно изменить настройку режима управления сертификатами хостов ESXi на custom на сервере vCenter и перезагрузить его.

$vCenterConnection = Connect-VIServer vc1.example.com `

-User 'My User' `

-Password 'My Password'

$certModeSetting = Get-AdvancedSetting "vpxd.certmgmt.mode" -Entity $vCenterConnection

Set-AdvancedSetting $certModeSetting -Value "custom"

После этого нужно сгенерировать CSR-запрос для сервера ESXi. Шаг похож на оный для vCenter Server, только нужно будет указать параметр CommonName. Это должно быть FQDN-имя хоста или его IP-адрес. Убедитесь, что CommonName совпадает с идентификатором, по которому вы добавляли этот хост в vCenter.

$esxRequest = New-VIMachineCertificateSigningRequest `

-VMHost $vmhost `

-Country "US" `

-Locality "San Francisco" `

-Organization "My Company" `

-OrganizationUnit "PowerCLI" `

-StateOrProvince "California" `

-CommonName <ESXi host's FQDN> or <ESXi host's IP address>


$esxRequest.CertificateRequestPEM | Out-File "C:\Users\jdoe\Downloads\esx.csr.pem" -Force

Теперь, когда мы получим сертификат от центра сертификации, нужно выполнить 3 операции:

1. Выводим хост в режим обслуживания (maintenance mode) и удаляем его из vCenter:

$vmhost = Get-VMHost 'MyESXiHost' `

Set-VMHost -VMHost $vmhost -State Maintenance

Remove-VMHost $vmhost

2. Соединяемся с хостом ESXi напрямую, устанавливаем там сертификат и перезагружаем хост:

$esxConnection = Connect-VIServer $vmhost.Name `

-User 'My User' `

-Password 'My Password' `

-Force


$esxCertificatePem = Get-Content "C:\Users\jdoe\downloads\myesxcert.pem" -Raw

$targetEsxHost = Get-VMHost $vmhost.Name

Set-VIMachineCertificate -PemCertificate $esxCertificatePem -VMHost $targetEsxHost | Out-Null



Restart-VMHost $targetEsxHost



Disconnect-VIServer $esxConnection

Так же, как и для vCenter, перед установкой сертификата машины нужно убедиться, что корневой сертификат нашего центра сертификации добавлен в доверенное хранилище сертификатов на хосте ESXi и других серверах, с которыми он взаимодействует, то есть остальные хосты ESXi и vCenter.

Снова добавляем наш хост ESXi в vCenter:

$vCenterConnection = Connect-VIServer vc1.example.com `

-User 'My User' `

-Password 'My Password'


$vmhost = Add-VMHost -Name <ESXi host's FQDN> or <ESXi host's IP address> `

-Location (Get-Datacenter "My Datacenter")`

-User "My User" `

-Password "My Password"


$vmhost = Set-VMHost -VMHost $vmhost -State Connected

Ну и остальные идеи вы можете почерпнуть в документе PowerCLI User’s Guide.

Мы уже давно не писали об обновлении утилиты RVTools, предназначенной для помощи администраторам при выполнении рутинных операций с виртуальной инфраструктурой VMware vSphere в различных аспектах. В начале февраля вышло обновление этого средства - RVTools 4.3.1.

Давайте посмотрим, что там нового:

• RVTools теперь использует VMware vSphere Management SDK 7.0U3.
• Новая вкладка vSource, на которой отображается информация о сервере, где исполняется веб-сервис SDK, который используется для сбора данных (это сервер vCenter или хост ESXi).
• Новая колонка Host UUID на вкладке vHost.
• Новые чекбоксы в разделе Health, которые включают/отключают сообщения о безопасности и производительности.
• Раньше колонка UUID заполнялась значениями SMBIOS UUID, которые не уникальны. Теперь там отображается уникальный 128-битный UUID.
• Улучшение производительности при обработке данных.
• На вкладке vHealth появились советы по улучшению производительности ввода-вывода и памяти.
• Исправления ошибок.

Также приведем основные улучшения RVTools с момента выпуска четвертой версии:

• Новая вкладка vUSB, отображающая хосты с присоединенными USB-устройствами.
• Новая вкладка vFileInfo с информацией обо всех файлах на датасторах vSphere (полная информация включается чекбоксом Get fileinfo detail information").
• Log4net обновлен до версии 2.0.12 (защита от уязвимости CVE-2018-1285).
• Отображение информации о том, является ли объект плейсхолдером резервной инфраструктуры VMware SRM.
• Новая колонка Virtual machine tags на вкладках vInfo, vCPU, vMemory, vDisk, vPartition, vCD, vFloppy, vNetwork, vSnapshot, vTools.
• Новая колонка вкладки vInfo: min Required EVC Mode Key.
• Новая колонка вкладки vMemory: Memory Reservation Locked To Max.
• Новые колонки вкладки vRP: Resource Pool path, Resource Pool tags, число ВМ в пуле ресурсов и object ID.
• Новые колонки вкладки vCluster: Cluster tags, custom attributes и object ID.
• Новые колонки вкладки vHost: число ВМ в пуле ресурсов, vSAN Fault Domain Name, Host tags, in Maintenance Mode и in Quarantine Mode.
• Новые колонки вкладки dvSwitch: Distributed VirtualSwitch tags, custom attributes и object ID.
• Новые колонки вкладки dvPort: Distributed VirtualSwitch Port Group tags и object ID.
• Новые колонки вкладки vDatastore: число ВМ в пуле ресурсов, Datastore tags, custom attributes и object ID.
• Новые колонки вкладки vNetwork: ipv4 и ipv6, NIC label, "Internal Sort Column".
• Новые колонки вкладки vDisk: Disk key, disk path, "Internal Sort Column".
• Новые колонки вкладки vPartition: "Internal Sort Column", Disk key.
• Новый чекбокс в настройках "Exclude tags" и параметр CLI -ExcludeTags.
• Объем отображается не в MB, а в MiB.
• Предупреждение о том, что данные собраны не со всех ВМ.

Скачать RVTools 4.3.1 можно по этой ссылке.

Мы уже писали о том, что на сервере VMware ESXi может возникать ошибка "No space left on device" при выполнении различных операций. Тогда мы объясняли, что такая ситуация может произойти из-за исчерпания числа свободных объектов inodes.

Причина такого поведения может заключаться не только в отсутствии свободных нод. Для начала надо проверить, что проблема действительно не в них. Делается это с помощью команды:

stat -f /

Либо можно использовать также команду df -i.

Если все в порядке с айнодами, то проблема может заключаться в так называемых "small file blocks" (SFB) и "large file blocks" (LFB), которые на VMFS создаются под нужды файловой системы для разных типов файлов. Суть самой проблемы в том, что иногда SFB кончаются, и VMFS запускает механизм конвертации LFB в SFB, но получившиеся SFB не становятся доступными сразу. Подробнее об этой механике рассказано в KB 87482.

Решением этой проблемы является только апгрейд вашей инфраструктуры на VMware vSphere ESXi 7.0 Update 3c.

Продолжаем рассказывать технические подробности о работе продукта StarWind Virtual SAN, позволяющего создавать программные и программно-аппаратные отказоустойчивые кластеры iSCSI для виртуальных сред. Сегодня мы поговорим о расширенных настройках протокола iSCSI на стороне StarWind и на стороне VMware ESXi, чтобы обеспечить непрерывное функционирование приложений в виртуальных машинах при обрыве соединений.

Стек работы с хранилищами VMware ESXi настроен таким образом, чтобы адекватно реагировать на кратковременную потерю сигнала в канале iSCSI, которая может возникнуть по разным причинам (кто-то перекоммутировал соединение, дрогнул порт и т.п.). По умолчанию расширенные настройки iSCSI выставлены так, чтобы переживать кратковременные сбои в рамках одного пути в интервале 25-35 секунд. В это время I/O-запросы будут копиться в очереди, а потом, либо произойдет продолжение передачи при восстановлении текущего соединения, либо хост переключится на резервный путь (failover) текущего или резервного адаптера.

В то время, как такое поведение не является критичным для большинства приложений, иногда есть специфические требования, которые надо выполнять для отдельных систем. Например, если речь идет о системе видеонаблюдения, то там задержка в полминуты является неприемлемой, и ее надо обрабатывать быстрее.

Для этого, если вы используете хранилища StarWind Virtual SAN, есть специальные настройки реагирования на подобные ситуации.

Итак, для начала вам нужно остановить службы StarWind Virtual SAN:

• В консоли StarWind Management Console проверить, что все устройства StarWind HA находятся в статусе "Synchronized" на всех серверах
• Проверить, что все датасторы имеют активные задублированные пути для всех серверов StarWind, а политика доступа по нескольким путям (MPIO) установлена в Round Robin
• На StarWind VSAN для Windows нужно выполнить команду для остановки служб StarWind: net stop starwindservice
• На виртуальном модуле StarWind VSA нужно выполнить такую команду: systemctl stop StarWindVSA

Далее открываем конфигурационный файл:

• На StarWind VSAN для Windows: C:\Program Files\StarWind Software\StarWind\StarWind.cfg
• На виртуальном модуле StarWind VSA: nano /opt/StarWind/StarWindVSA/drive_c/StarWind/StarWind.cfg

Далее там находим параметр iScsiPingCmdSendCmdTimeoutInSec и выставляем его значение, например в "1" (одна секунда).

Ну и, наконец, надо запустить службы StarWind VSAN:

• На StarWind VSAN для Windows: net start starwindservice
• На виртуальном модуле StarWind VSA: systemctl start StarWindVSA

Теперь нужно добраться до расширенных настроек iSCSI инициатора VMware ESXi. Открываем Advanced Options для адаптера в разделе Storage Adapters нужного нам инициатора:

И смотрим, какие настройки там выставлены:

Нас интересует:

• RecoveryTimeout - это как раз время, через которое активный путь помечается как "мертвый" (переводится в DEAD_STATE), когда по нему больше не приходит команд ввода-вывода.
• NoopInterval - это интервал, с которым происходит пассивное тестирование неактивных путей на предмет того, живы ли они.
• NoopTimeout - это время, через которое происходит пометка неактивного пути как DEAD, если по нему не получено ответа.

Эти настройки по умолчанию установлены в оптимальные с точки зрения вероятности отказа/потерь значения. Меняйте их только, если у вас есть особые требования приложений по непрерывной доступности хранилищ, и вы знаете, какое поведение системы хотите получить. Уменьшение таймаутов, очевидно, ведет к загрузке сети пингами каналов iSCSI и дополнительной нагрузке на устройства.

Как знают многие администраторы, еще в прошлом году в ESXi 7 Update 2 компания VMware стала убирать различные настройки из основного конфигурационного файла esx.conf. Кстати, и не только оттуда. Например, раньше глобальные настройки FDM (он же HA - High Availability) хранились в файле /etc/opt/vmwware/fdm/fdm.cfg. Теперь их там тоже нет - они переехали во внутреннее хранилище ConfigStore, работать с которым нужно с помощью утилиты командной строки configstorecli.

То же самое произошло и с NTP - теперь настройки времени, хранящиеся в /etc/ntp.conf (для NTP) и /etc/ptp.conf (для PTP), недоступны для редактирования через файлы конфигураций. Кстати, если вы не знаете, чем NTP отличается от PTP, у нас есть отличная статья на эту тему (а вот тут - о поддержке PTP в vSphere 7 Update 2).

Более того, теперь все файлы каталога /etc помечены как только для чтения и не сохраняют своих изменений при перезагрузке!

Так что работать с большинством настроек теперь нужно через ConfigStore. В частности, для NTP и PTP есть 2 основных команды, которые взаимодействуют с ConfigStore для конфигурации времени:

• Получение настроек времени

# esxcli system ntp get
# esxcli system ptp get

• Установка настроек времени

# esxcli system ntp set
# esxcli system ptp set

Если вы хотите узнать список всех конфигурационных файлов, которыми теперь заведует ConfigStore, можно выполнить следующую команду в консоли ESXi:

# configstorecli files get

Как многие из вас знают, в ноябре прошлого года компания VMware отозвала обновление платформы vSphere 7 Update 3 из-за критических ошибок. Это были проблемы с выпадением в PSOD, трудности при апгрейде с прошлых версий, неполадки в плане стабильности vSphere HA и другое.

В конце декабря мы напомнили о том, что проблема существует уже месяц, а VMware все никак не может решить ее. Основная информация о возникшей ситуации с последним пакетом обновлений публиковалась в KB 86398. Там же можно узнать, что вся линейка Update 3/3a/3b была отозвана из-за критических проблем, описанных в KB 86287 и KB 86281.

Теперь VMware объявила о выпуске окончательной версии VMware vSphere 7 Update 3c, где все должно работать как надо (однако бежать обновляться прямо сейчас мы бы не рекомендовали:)

Также сообщается, что в новом релизе решены все проблемы с безопасностью, касающиеся уязвимости Log4j, которая затронула большое количество систем. Эта уязвимость позволяла злоумышленнику, который имел доступ к отсылке логов (самих сообщений или к настройке их параметров), исполнять код, полученный с LDAP-серверов, когда настройка message lookup substitution включена.

Наконец-то были обновлены основные компоненты продукта, ESXi и vCenter, а также опубликован список известных проблем и их обхода:

• vSphere ESXi 7 Update 3c Release Notes
• vCenter Server 7 Update 3c Release Notes
• vSphere 7 Update 3c – List of Known Issues and Workarounds

О новых возможностях основного vSphere 7 Update 3 вы можете почитать у нас тут, их список не изменился. Скачать все компоненты платформы, включая ESXi 7 Update 3c и vCenter Server 7 Update 3c, вы можете по этой ссылке.

Некоторые из вас, вероятно, знают такой сайт virten.net, где в свое время публиковалось много интересных технических статей об инфраструктуре VMware. Автор этого ресурса делает много интересных вещей, например, средство PowerShell OVF Helper.

OVF Helper - это репозиторий шаблонов для развертывания ВМ из виртуальных модулей (Virtual Appliances) в формате OVF, которые основаны на рабочем процессе развертывания в мастере создания машин vSphere Client. Через OVF Helper вы таким же образом соединяетесь с vCenter Server, заполняете нужные переменные и выполняете сценарий развертывания. Это точно так же просто, как и при использовании vSphere Client, но плюс в том, что вы можете использовать этот сценарий повторно, не проходя вручную шаги мастера клиента vSphere.

Также настроенные параметры в скрипте будут вам отличным напоминанием о том, какую конфигурацию вы использовали для виртуальных модулей.

На данный момент доступны сценарии для следующих продуктов и их версий:

• VMware NSX-T 3.2 | 3.1 | 3.0 | 2.5 | 2.4
• VMware NSX Advanced Load Balancer
• VMware NSX for vSphere 6.x
• VMware Cloud Director 10 | 10.2 | 10.3
• VMware vRealize Operations Manager 8.1
• VMware vRealize Orchestrator 8.1
• VMware vSphere Integrated Containers
• VMware ESXi Virtual Appliance
• VMware Photon OS 3.0 (cloud-init)
• VMware Event Broker Appliance 0.7

Также на странице PowerShell OVF Helper размещены ссылки на OVA-модули, которые рекомендуется использовать совместно с соответствующей версией сценария.

Кстати, обратите внимание на раздел Tools на сайте автора - там много чего интересного:

Довольно давно мы писали о технологии Remote Direct Memory Access (RDMA) которая позволяет не использовать CPU сервера для удаленного доступа приложения к памяти другого хоста. RDMA позволяет приложению обратиться (в режиме чтение-запись) к данным памяти другого приложения на таргете, минуя CPU и операционную систему за счет использования аппаратных возможностей, которые предоставляют сетевые карты с поддержкой этой технологии - называются они Host Channel Adaptor (HCA).

Также некоторое время назад мы писали о VMware Paravirtual RDMA (PVRDMA) - технологии, поддержка которой появилась еще в VMware vSphere 6.5. С помощью нее для сетевых адаптеров PCIe с поддержкой RDMA можно обмениваться данными памяти для виртуальных машин напрямую через RDMA API, что важно для нагрузок High Performance Computing (HPC) на платформе vSphere.

Работает PVRDMA только в окружениях, где есть хосты ESXi с сетевыми картами с соответствующей поддержкой, а также где виртуальные машины подключены к распределенному коммутатору vSphere Distributed Switch (VDS). Альтернативой этому режиму использования сетевых карт является технология VMDirectPath I/O (passthrough), которая напрямую пробрасывает устройство в виртуальную машину. Это, конечно, самый оптимальный путь с точки зрения производительности, однако он не позволяет использовать многие полезные технологии VMware, такие как HA, DRS и vMotion.

Недавно компания VMware выпустила интересный документ "Paravirtual RDMA for High Performance Computing", где рассматриваются аспекты развертывания и производительности PVRDMA, а также производится тестирование этой технологии в сравнении с VMDirectPath I/O и TCP/IP:

Читать весь документ, наверное, не стоит - можно довериться методике тестирования VMware и ее подходу к оценке производительности. Тестовый стенд выглядел так:

Состав оборудования и особенности тестирования:

• 8 хостов ESXi 7.0 на платформе PowerEdge C6420 с Intel Xeon Gold 6148 CPU на борту (20 ядер / 40 потоков), 200GB RAM NVIDIA Mellanox ConnectX-5 Ex 100GbE NIC на канале RDMA
• Карты NVIDIA Mellanox ConnectX-5 Ex NIC, соединенные через коммутатор 100GbE NVIDIA Mellanox
• CentOS 7.6, 20 vCPUs, 100GB RAM, ВМ на датасторе vSAN, одна ВМ на хост ESXi
• OpenMPI версии 4.1.0, использующая using openib BTL для транспорта RDMA
• OpenFOAM версии 8, исполняющая тест cavityFine из руководства OpenFOAM. Этот тест исполняет симуляцию течения жидкости с заданными параметрами.

Тут можно просто взглянуть на следующие картинки, чтобы понять, что при использовании PVRDMA вы теряете не так уж и много в сравнении с VMDirectPath I/O.

Результаты теста по времени исполнения в секундах (для 2,4 и 8 хостов, соответственно):

Визуализация результатов при изменении числа узлов:

В среднем, потери производительности на PVRDMA составляют до 20%, зато вы получаете множество преимуществ, которые дает полная виртуализация без жесткой привязки к оборудованию - консолидация, HA и vMotion:

В сравнении с TCP дела тоже обстоят хорошо, результат лучше на 30-80%, в зависимости от числа узлов:

Скачать документ VMware Paravirtual RDMA for High Performance Computing можно по этой ссылке.

Мы много писали о решении VMware Cloud Disaster Recovery, которое позволяет обеспечивать катастрофоустойчивость виртуальных инфраструктур за счет резервирования онпремизных ресурсов в облаке. Службы VMware Cloud Disaster Recovery позволяют производить восстановление после сбоев по запросу (On-Demand Disaster Recovery) напрямую в облаке VMware Cloud on AWS.

VMware Cloud Disaster Recovery обеспечивает оркестрацию процесса создания реплик на хранилищах S3 Cloud, а также реализацию процесса восстановления инфраструктуры на стороне VMware Cloud on AWS с сохранением показателя RPO равного 30 минутам.

У многих пользователей такой схемы возникает вопрос - а за что они отвечают в этом процессе, за что отвечает VMware, а за что - Amazon?

Ответ можно найти вот тут, мы расскажем об этом вкратце. Итак, VMware Cloud Disaster Recovery состоит из трех компонентов:

• Файловая система Scale-out Cloud File System (SCFS)
• Оркестратор (Orchestrator)
• Коннекторы DRaaS Connectors

VMware запустила свое DRaaS решение в октябре 2020 года и с тех пор предоставляет круглосуточную поддержку этих компонентов, включая накатывание патчей и обновлений на них.

С точки зрения безопасности и операций, ответственность распределяется по трем основным уровням - пользователь, VMware и Amazon AWS:

Пользователь отвечает за:

"Security in the Cloud":

• Безопасность в облаке при развертывании и поддержке окружений VMware Cloud Disaster Recovery
• Безопасность собственной виртуальной инфраструктуры и установку компонентов решения, необходимых для функционирования инфраструктуры катастрофоустойчивости. Также это включает в себя поддержку достаточной скорости соединения между площадками. Пользователь должен заботиться о протоколах шифрования, своевременном обновлении ПО, аудите систем, изменении паролей и всем прочем, что от него зависит.

VMware отвечает за:

"Security of the Cloud" - то есть за безопасность самого облака, что означает защиту систем и программного обеспечения, составляющего основу облака для служб VMware Cloud Disaster Recovery. Очевидно, что это включает в себя не только DRaaS-cервисы, но и платформенные составляющие, такие как VMware vSphere и vSAN.

Amazon отвечает за:

"Security of the Infrastructure" - физические серверы, доступ к ним в датацентрах, функционирование аппаратного обеспечения, исправность физических линий связи и соединений в рамках ЦОД.

Если говорить о разделении зон ответственности в плане конкретных операций и функциональности, то таблица в разрезе указанных трех сущностей выглядит так:

Более детальная информация обо всем этом приведена в документе "VMware Cloud Disaster Recovery Service Description".

В конце лета прошлого года мы писали об интереснейшем документе "VMware vSphere Snapshots: Performance and Best Practices", который содержит весьма полезную многим администраторам информацию о производительности снапшотов, а также лучшие практики по обращению с ними. Мы, кстати, часто пишем про это (1, 2, 3), и хорошо, что теперь об этом есть и подробный документ с картинками.

В конце года VMware решила обновить этот whitepaper, добавив туда немного информации о производительности снапшотов в инфраструктуре контейнеризованных приложений Kubernetes на платформе vSphere.

Тестовая конфигурация там выглядела вот так:

Соответственно, процедура тестирования выглядела так:

• Снимаем базовый уровень производительности для ВМ worker-ноды без снапшотов под нагрузкой
• Создаем снапшот ВМ worker-ноды
• Запускаем бенчмарк и получаем данные о производительности
• Увеличиваем по одному число снапшотов и повторяем цикл тестирования

Тестировались приложения Weathervane и Redis. Результаты показали, что даже при большом количестве снапшотов производительность не падает:

Больше подробностей вы можете узнать в обновленном документе "VMware vSphere Snapshots: Performance and Best Practices".

Дункан написал хорошую разъясняющую статью про загрузку ESXi с SD-карты и размещение раздела OSDATA на хранилище в SAN. Напомним, что мы писали о том, что VMware уходит от механизма загрузки ESXi с SD-карт ввиду их низкой надежности и неприспособленности под задачи гипервизора.

Как знают администраторы VMware vSphere, начиная с седьмой версии платформы, структура разделов ESXi теперь выглядит следующим образом:

Как мы видим, все основные разделы, не относящиеся к загрузке переехали в раздел ESX-OSDATA. Многие администраторы хотели бы хранить загрузочный раздел локально на SD-карте, а OSDATA - в сети SAN.

К сожалению, это не поддерживается.

Давайте взглянем на таблицу допустимых конфигураций из вот этой статьи VMware:

Действительно, тут как бы есть пункт, что при загрузке ESXi можно использовать SD-карту для Bootbank, а Managed FCoE/iSCSI LUN для OSDATA (но обратите внимание, что это Locally attached devices). Реально же FCoE, iSCSI и FC для загрузки ESXi с SAN можно использовать только тогда, когда и OSDATA, и Bootbank находятся на SAN-устройстве.

Компания VMware на сайте проекта Labs сделала доступной новую версию платформы виртуализации ESXi ARM Edition 1.8. Напомним, что это специальная версия гипервизора VMware, предназначенная для процессоров ARM (на их базе построена, например, архитектура Raspberry Pi, а также многие IoT-устройства). Также этот гипервизор в будущем найдет свое применение в таких платформах, как Project Monterey. О прошлой версии ESXi для ARM мы писали вот тут.

Давайте посмотрим, что нового появилось в ESXi ARM Edition 1.8:

• Исправление для ACPI, что позволяет поддерживать гостевые ОС OpenBSD.
• Улучшенная обработка ITS device ID width в реализации без поддержки indirect table.
• Улучшенная обработка VMkernel TLB (Translation Lookaside Buffer - он представляет собой кэш для MMU).
• Улучшенная обработка механизма NUMA, особенно в части сообщений об ошибках.

Скачать VMware ESXi ARM Edition 1.8 можно по этой ссылке. Напомним, что апгрейд с прошлых версий этого гипервизора не поддерживается, каждую новую версию нужно устанавливать заново.

В конце ноября мы писали о том, что "уже 5 дней VMware находится в состоянии экстренной починки VMware vSphere 7 Update 3", но ситуация оказалась гораздо хуже. Никаких новостей об исправлениях для новой версии, по-прежнему, нет. Напомним, что о новых возможностях vSphere 7 U3 мы писали тут.

Основная информация о возникшей ситуации с последним пакетом обновлений приведена в KB 86398. Там можно узнать, что вся линейка Update 3/3a/3b была отозвана из-за критических проблем, описанных в KB 86287 и KB 86281. На странице загрузки VMware vSphere, по-прежнему, висит красный баннер и релиз Update 2a от апреля этого года:

Среди найденных багов - и выпадение в PSOD, и проблемы апгрейда с прошлых версий, и проблемы со стабильностью vSphere HA, и многое другое, судя по заметкам в некоторых блогах:

Если мы зайдем на статью базы знаний "Build numbers and versions of VMware ESXi/ESX (2143832)", то увидим, что последние три релиза vSphere просто зачеркнуты в таблице:

18 ноября зачеркнутые в таблице релизы были удалены из VMware Customer Connect, а новостей по поводу сроков исправления проблем с этого времени не было. Сама VMware пишет в KB вот так:

Надо отметить, что VMware vCenter 7 Update 3 и Update 3a сейчас доступны для скачивания и использования в производственной среде.

В самом интересном положении оказались пользователи, которые уже прошли процедуру апгрейда своей инфраструктуры на Update 3. Им не рекомендуют откатывать все назад (это и не так просто, к тому же), если они не сталкиваются с критичными проблемами, такими как PSOD. Однако и сроков по доступности исправлений Update 3 тоже не дают.

Ждем исправлений!

Как знают многие администраторы VMware vSphere, у компании есть очень полезный документ "Security Configuration Guide", который представляет собой основное руководство по обеспечению безопасности виртуальной среды. Последняя версия этого документа содержит 87 настроек (мы писали об этом тут), так или иначе влияющих на безопасность как самой платформы виртуализации, так и виртуальных машин и их гостевых операционных систем.

Документ передает концепцию "Secure by design", что означает, что среда VMware vSphere изначально настроена оптимальным образом с точки зрения безопасности, поэтому вносить изменения вам нужно только в случае наличия каких-либо специальных требований именно в вашей инфраструктуре.

Надо понимать, что конфигурация виртуальной среды в целях обеспечения повышенной (относительно дефолтной) безопасности - это всегда компромисс между защищенностью и удобством использования (как и для любой другой ИТ-системы). Из коробки сама платформа, сервер vCenter и виртуальные машины настроены таким образом, чтобы обеспечить максимальное удобство использования при должном уровне безопасности.

Помните, что изменение настроек безопасности - очень опасная штука, которая требует обязательного документирования и оповещения администраторов об этом. Ведь из-за этого они могут получить проблемы с работой отдельных компонентов, но так и не понять их источника, что будет похуже чисто гипотетической маловероятной атаки, связанной с измененной настройкой.

Сегодня мы посмотрим на 15 действительно полезных рекомендаций и настроек, применение которых не сильно снизит удобство использования, но при этом даст чуть более высокий уровень безопасности, что может оказаться вам в каком-то случае полезным.

Структура списка конфигураций и рекомендаций

Давайте сначала взглянем на колонки Excel-таблицы, которая, по-сути, и является списком настроек и рекомендаций, которые вы можете применить в своей виртуальной инфраструктуре:

• Guideline ID - идентификационное имя рекомендации.
• Description - лаконичная формулировка сути этой рекомендации.
• Discussion - описание влияния настройки на конфигурацию среды и операции, а также обсуждение моментов, которые касаются удобства использования инструментов управления в связи с изменением настройки.
• Configuration Parameter - это название расширенной настройки соответствующего компонента, которую вы можете изменить. Понятно дело, что эта колонка заполнена не всегда, так как есть рекомендации, которые регулируются не конкретными настройками, а, например, топологией или подходом к организации среды.
• Desired value - рекомендуемое значение, часто оно является значением по умолчанию, если это не site specific.
• Default value - то значение, которое установлено по умолчанию.
• Is Desired Value the Default? - просто для понимания (и для референса в будущем), установлено ли желаемое значение по умолчанию.
• Action Needed - это тип действия, который необходимо предпринять - изменить настройку, проверить конфигурацию или топологию, добавить или удалить что-то и т.п.
• Setting Location in vSphere Client - очень полезная колонка, позволяющая вам найти нужную настройку в клиенте vSphere.
• Negative Functional Impact in Change From Default? - это как раз информация о влиянии на функционал в случае изменения настройки.
• PowerCLI Command Assessment - команда PowerCLI, с помощью которой можно узнать текущее значение настройки.
• PowerCLI Command Remediation Example - команда PowerCLI по применению настройки.
• Hardening - указывает на то, что это действительно настройка, которой нужно уделить внимание при конфигурации.
• Site Specific Setting - говорит о том, что задать конфигурацию должен сам пользователь, в зависимости от его окружения.
• Audit Setting - указывает, что вам необходимо время от времени проверять эту настройку, чтобы убедиться, что значение по умолчанию не было изменено необоснованно.

Само руководство разбито на 4 категории, которые понятны всем администраторам:

• Хосты ESXi
• Сервер vCenter
• Виртуальные машины
• Гостевые ОС виртуальных машин

Также в документе есть и вкладка "Deprecated" - там находятся те настройки, которые больше не актуальны. Что важно - там помечено, почему это случилось (в колонке Discussion).

Итак, давайте посмотрим на 15 самых интересных и, главное, полезных настроек, которые вы можете изменить, а также рекомендаций, которые вы можете выполнять, чтобы повысить безопасность виртуальной среды в своей инфраструктуре.

Хосты ESXi

• Configure remote logging - это действительно правильная рекомендация. Хосты ESXi должны отправлять свои логи на удаленный сервер Syslog. Самый удобный вариант - это использовать в качестве Syslog-сервера решение VMware vRealize Log Insight. Ведь если злоумышленник проникнет на сервер ESXi, то после своей активности он эти логи удалит, и расследовать будет нечего. С централизованного внешнего сервера удалить эти данные сложнее. На работу виртуальной среды эта конфигурация не влияет.
• Ensure ESXi management interfaces are isolated on their own network segment - это очевидная, но не всегда выполняемая администраторами конфигурация. Конечно же, вся управляющая инфраструктура виртуальной среды должна находиться в выделенном сегменте сети в своих VLAN, куда имеют доступ только администраторы. То же самое касается и сети vMotion, и сети vSAN.
• esxi-7.shell-interactive-timeout и esxi-7.shell-timeout (Set a timeout to automatically terminate idle ESXi Shell and SSH sessions) - по умолчанию сессии командной оболочки и SSH-сессии висят постоянно, что, конечно же, представляет потенциальную угрозу. Лучше ограничить таймаут 600 секундами, чтобы никто эти сессии не смог подхватить.
• Only run binaries delivered via VIB - эта настройка позволяет устанавливать бинарные компоненты только через VIB-пакеты, которые соответствуют установленному Acceptance Level. Если вы не пользуетесь посторонними библиотеками кустарного производства, то лучше эту настройку включить. Когда вам понадобится установить такой бинарник - просто включите эту настройку снова. Но это изменение лучше задокументировать.
• Enable bidirectional/mutual CHAP authentication for iSCSI traffic - настраивать CHAP-аутентификацию нужно обязательно, чтобы предотвратить атаки, связанные с перехватом трафика к хранилищам. Настраивать это недолго, но зато будет больше уверенности в сохранности данных.

Сервер vCenter

• Ensure vCenter Server management interfaces are isolated on their own network segment or as part of an isolated ESXi management network - это та же самая рекомендация по изоляции управляющей сети от сети виртуальных машин, что и для серверов ESXi. Убедитесь, что они надежно разделены с помощью VLAN и других техник.
• Ensure that port mirroring is being used legitimately - эта настройка отключена по умолчанию, но зеркалирование трафика на портах vSphere Distributed Switch надо периодически проверять (vSphere Client -> Networking -> Distributed Switch -> Configure -> Settings -> Port Mirroring). Такой способ атаки - один из самых простых в реализации, если у злоумышленника есть доступ к настройкам VDS (обычно в них никто не заглядывает после первичной настройки). То же самое касается и отправки трафика NetFlow, управление которым производится в разделе vSphere Client -> Networking -> Distributed Switch -> Configure -> Settings -> NetFlow.
• Limit access to vCenter Server by restricting DCLI / SSH - это разумная рекомендация, чтобы злоумышленник не смог залогиниться в консоль виртуального модуля напрямую или по SSH. Уменьшив поверхность атаки, вы сделаете среду более защищенной. Только не забудьте задокументировать это изменение.
• Configure File-Based Backup and Recovery - не ленитесь настраивать и обслуживать бэкап конфигурации вашего управляющего сервера. Однажды это может вам пригодиться как в контексте безопасности, так и в контексте быстрого восстановления системы управления в виртуальной инфраструктуре в случае сбоя.
• Configure remote logging - здесь те же рекомендации, что и для ESXi. Не ленитесь настраивать сервер удаленного сбора логов.

Виртуальные машины

• Limit the number of console connections - очень часто к консоли виртуальной машины не нужно больше одного подключения ее администратора. В этом случае дефолтное количество 40 одновременных подключений лучше уменьшить до 1. Делается это в разделе VM -> Edit Settings -> VM Options -> VMware Remote Console Options.
• Encrypt VMs during vMotion - это полезная настройка. По умолчанию, трафик vMotion шифруется, только если есть такая возможность (Opportunistic). Если у вас хватает вычислительных ресурсов и быстрая сеть, то можно установить это значение в "Required". Это обеспечит защиту от перехвата трафика vMotion, в котором есть данные гостевой ОС виртуальной машины.
• Lock the VM guest session when the remote console is disconnected - лучше включить эту настройку и лочить сессию при отключении удаленной консоли, чтобы брошенная администратором сессия в гостевой ОС виртуальной машины не была подхвачена злоумышленником. На удобство работы это не сильно влияет. Изменить эту настройку можно в VM -> Edit Settings -> VM Options -> VMware Remote Console Options.

Гостевая ОС

• Ensure that VMware Tools are updated - это просто еще одно напоминание, что нужно постоянно следить за тем, что пакет VMware Tools обновлен до последней версии (и желательно поддерживать единый уровень версий для всех машин). В нем содержится много компонентов (кстати, не устанавливайте ненужные), поэтому уязвимость в одном из них может скомпрометировать множество виртуальных машин. То же самое относится и к версии Virtual Hardware - следите за этим.
• Disable Appinfo information gathering - об интерфейсе Appinfo мы писали вот тут (он же Application Discovery). Он позволяет, например, собирать информацию о запущенных приложениях внутри гостевой системы и их параметрах. Механизм Appinfo используется различными решениями, такими как vRealize Operations Manager, для мониторинга на уровне гостевой ОС. Если же вы не используете эти решения в своей виртуальной среде, то данный механизм лучше просто отключить через VMware Tools. Учитывая какое количество багов, касающихся безопасности, в последнее время находится в различных компонентах инфраструктурного ПО, лучше отключить функции Appinfo, которые включены по умолчанию для всех гостевых ОС после установки VMware Tools.

Конечно же, в документе vSphere 7 Security Configuration Guide есть много и других настроек и конфигураций, изменение которых помогут вам повысить уровень безопасности. Иногда это связано с требованиями регулирующих органов или спецификой внутренних политик организации. Поэтому обратите особенное внимание на те конфигурации, которые помечены как Site Specific, а также те, где рекомендуемые значения отличаются от дефолтных. И обязательно документируйте сделанные изменения, а также проводите регулярный аудит наиболее важных настроек.

Компания VMware на сайте проекта Labs сделала доступной новую версию платформы виртуализации ESXi ARM Edition 1.7. Напомним, что это специальная версия гипервизора VMware, предназначенная для процессоров ARM (на их базе построена, например, архитектура Raspberry Pi, а также многие IoT-устройства). Также этот гипервизор в будущем найдет свое применение в таких платформах, как Project Monterey. О прошлой версии ESXi для ARM мы писали вот тут.

Давайте посмотрим, что нового появилось в ESXi ARM Edition 1.7:

• Экспериментальная поддержка платы Quartz64 от Pine64.
• Поддержка драйвера VMware SVGA (теперь он совместим с платой Fusion on AS, где исправлены многие ошибки)
• Монитор виртуальных машин, который поддерживает архитектуру NUMA, что улучшает производительность на двухсокетных машинах Ampere Altra.
• Улучшенная совместимость для систем без IORT.
• Исправлены проблемы с производительностью в гостевых ОС с новыми ядрами Linux, такими как Debian 10 и Photon 4.
• Добавлено распознавание ядра Cortex-A55.
• Улучшенная обработка TLBI в мониторе виртуальных машин и в VMkernel.
• Улучшения обработки одновременных базовых операций в гипервизоре.

Скачать VMware ESXi ARM Edition 1.7 можно по этой ссылке.

Продолжаем рассказывать вам о продуктах компании StarWind, которая является одним из лидеров в сфере производства программных и программно-аппаратных хранилищ виртуальных машин на платформах VMware vSphere и Microsoft Hyper-V. Сегодня мы расскажем о бесплатной утилите V2V Converter / P2V Migrator, которая позволяет делать три важных для администратора вещи...

Как все из вас знают, не так давно компания VMware выпустила обновление своей серверной платформы виртуализации vSphere 7 Update 3. Мы писали также о нововведениях в отношении хранилищ, обновлении 3a, новых возможностях продукта vSAN 7 U3 и обновлениях vCenter и vSphere Client.

Сегодня мы поговорим об улучшениях в плане производительности платформы VMware vSphere 7 Update 3, о которых рассказано в обновившемся недавно документе "What’s New in Performance for VMware vSphere 7?". О похожем документе о производительности платформы vSphere 7 Update 2 мы писали в начале осени тут.

Давайте посмотрим, что нового в vSphere 7 U3 в плане производительности:

1. Масштабируемость виртуальных машин

Теперь максимальные параметры ВМ, доступных в vSphere выглядят так:

2. Оптимизации рабочих нагрузок, чувствительных к задержкам

Гипервизор VMware ESXi был еще больше оптимизирован, чтобы быстрее исполнять приложения, чувствительные ко времени отклика и задержкам (ultra-low-latency applications), уменьшены jitter и interference для приложений реального времени. Для этого было сделано множество оптимизаций в плане обработки прерываний. Чтобы воспользоваться этой функцией (low-latency mode) ее надо включить в BIOS машины.

3. Технология vSphere Memory Monitoring and Remediation (vMMR)

Размер памяти DRAM влияет на 50-60% стоимости самого сервера. При этом 1TB DRAM - это уже 75% этой стоимости. Поэтому VMware давно борется с этим, и одна из возможных оптимизаций здесь - использование Intel Optane Persistent Memory Mode, когда железо использует DRAM как кэш и представляет PMem как основную память системы. PMem более дешевая технология, но имеет побольше задержки (latency).

С помощью vSphere Memory Monitoring and Remediation (vMMR) можно следить за работой памяти в режиме Intel PMem Memory Mode и получать алерты когда ESXi исчерпывает память DRAM, что может привести к падению производительности сервера.

4. NVMe over TCP/IP

В релизе vSphere 7.0 была анонсирована поддержка технология NVMe over Fabrics, где первоначально поддерживались только протоколы FC и RDMA. Теперь же поскольку SSD-хранилища продолжают набирать популярность, а транспорт Non-Volatile Memory Express (NVMe) стал стандартом для многих типов систем, в vSphere 7 Update 3 появилась поддержка и NVMe over TCP, которая позволяет использовать стандартную инфраструктуру TCP/IP, оптимизированную под Flash и SSD, для трафика хранилищ. Это поможет в некоторых случаях существенно сэкономить на оборудовании при поддержании высокого уровня производительности.

Больше подробностей о производительности VMware vSphere 7 вы найдете в документе "What’s New in Performance for VMware vSphere 7?".